package com.demo.spark

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object WordCount {
  
  
  def main(args: Array[String]): Unit = {
    
    
    /**
     * 创建SparkConf对象
     * 如果Master是local，表示运行在本地模式上，即可以在开发工具中直接运行
     * 如果要提交到集群中运行，不需要设置Master
     * 
     * 
     */
    val conf =  new SparkConf().setAppName("MyScala word Count").setMaster("local");
    
    //创建SparkContext对象
    val sc = new SparkContext(conf);
    
//    val result = sc.textFile("hdfs://bigdata111:50070/AA/word.txt")
    val result = sc.textFile("D:\\data\\Date\\A\\word.txt")
                   .flatMap(_.split(" "))
                   .map((_,1))
                   .reduceByKey(_+_);
    ;
    
    result.foreach(println)
    
    
    
    
  }
  
  
  
}